from selenium import webdriver
from bs4 import BeautifulSoup
import time
import re
from selenium.webdriver.common.by import By

# 검색결과 페이지의 url을 생성(반환=return)하는 함수 정의
def insta_searching(word):
    url = "https://www.instagram.com/explore/tags/" + str(word)
    return url
  
# 검색 결과페이지에서 첫 번째 게시물을 클릭하는 함수 정의   
# 함수정의: 열린 페이지에서 첫 번째 게시물 클릭 + sleep 메소드 통하여 시차 두기

def select_first(driver):
    first = driver.find_elements(By.CSS_SELECTOR, "div._aagw")[0]
    first.click()
    time.sleep(3)

# 검색결과 페이지의 url을 생성(반환=return)하는 함수 정의
def insta_searching(word):
    url = "https://www.instagram.com/explore/tags/" + str(word)
    return url
# 검색 결과페이지에서 첫 번째 게시물을 클릭하는 함수 정의   
# 함수정의: 열린 페이지에서 첫 번째 게시물 클릭 + sleep 메소드 통하여 시차 두기
def select_first(driver):
    first = driver.find_elements(By.CSS_SELECTOR, "div._aagw")[0]
    first.click()
    time.sleep(3)


#함수정의: 본문내용, 작성일자, 좋아요 수, 위치정보, 해시태그 가져오기

import re
from bs4 import BeautifulSoup

def get_content(driver):
    html = driver.page_source
    soup = BeautifulSoup(html, 'lxml')

  

# 본문 내용

    try:
        content = soup.select('div._a9zs')[0].text
    except:
        content = ''
    # 해시태그

    tags = re.findall(r'#[^\s#,\\]+', content)
    
    # 작성일자
    date = soup.select('time._aaqe')[0]['datetime'][:10]

     # 좋아요
    try:
        like = soup.select('div._aacl._aaco._aacw._aacx._aada._aade')[0].findAll('span')[-1].text
    except:
        like = 0
    # 위치
    try:
        place = soup.select('div._aaqm')[0].text
    except:
        place = ''

    data = [content, date, like, place, tags]
    return data

# 함수정의: 첫 번째 게시물 클릭 후 다음 게시물 클릭
def move_next(driver):
    right = driver.find_element(By.CSS_SELECTOR, "div._aaqg._aaqh") 
    time.sleep(3)

# 크롤링 시작

#driver.get(url)을 통해 검색 페이지 접속하고,
#target 변수에 크롤링할 게시글에 바인딩


# 다운받은 웹 드라이버를 통한 크롬 브라우저 열기
driver = webdriver.Chrome("chromedriver.exe")

driver.get('https://www.instagram.com')
time.sleep(3)

# 인스타그램 로그인을 위한 계정 정보
# email = "__hiksang__siksang__"
# input_id = driver.find_elements(By.CSS_SELECTOR,'input._2hvTZ.pexuQ.zyHYP')[0]
# input_id.clear()
# input_id.send_keys(email)

# password = "thdusdl1!"
# input_pw = driver.find_elements(By.CSS_SELECTOR, 'input._2hvTZ.pexuQ.zyHYP')[1]
# input_pw.clear()
# input_pw.send_keys(password)
# input_pw.submit()

# time.sleep(5)

loginbutton = driver.find_element("xpath", "//*[@id='loginForm']/div/div[3]")
enter_username = driver.find_element("name","username")
password = driver.find_element("name","password")

#CHANGE USERNAME AND PASSWORD WITH YOUR CREDENTIALS.
enter_username.send_keys("kimhiksang")
password.send_keys("rlagmltkd1!")
time.sleep(5)

loginbutton.click()

time.sleep(5)

# 게시물을 조회할 검색 키워드 입력 요청
word = input("검색어를 입력하세요 :  ")
word = str(word)
url = insta_searching(word)
검색어를 입력하세요 : 노키즈존

C:\Users\Gachon\AppData\Local\Temp\ipykernel_20588\1733326898.py:46: DeprecationWarning: executable_path has been deprecated, please pass in a Service object
driver = webdriver.Chrome("chromedriver.exe")

# 검색 결과 페이지 열기
driver.get(url)
time.sleep(10) 

# 첫 번째 게시물 클릭
select_first(driver)

#반복문을 통해 가져올 게시물의 개수와 url정보를 구한다.
# 본격적으로 데이터 수집 시작
results = []
## 수집할 게시물의 수
target = 500
for i in range(target):
    try:
        data = get_content(driver)
        results.append(data)
        move_next(driver)
    except:
        time.sleep(2)
        move_next(driver)
    time.sleep(5)

#결과를 데이터 프레임으로 저장
import pandas as pd
from datetime import datetime

date = datetime.today().strftime('%Y-%m-%d')
results_df = pd.DataFrame(results)
results_df.columns = ['content','date','like','place','tags']
results_df.to_excel(date + '_about '+word+' insta crawling.xlsx'

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup
import time
import re
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import pandas as pd


driver = webdriver.Chrome(ChromeDriverManager().install())
names = []
adrs = []
for i in range(3, 441):  # 441
    try:
        driver.get(
            'https://www.google.com/maps/d/viewer?mid=1XNvlhjVsrQFtelWfLapc76MiJ9c&ll=33.5087074%2C126.88813720000009&z=8')
        driver.implicitly_wait(10)
        right = driver.find_element(By.XPATH,
                                    "//*[@id='legendPanel']/div/div/div[2]/div/div/div[2]/div[1]/div/div[3]/div[441]/span")
        right.click()  ## 전체보기
        driver.implicitly_wait(10)
        right = driver.find_element(By.XPATH,
                                    f"//*[@id='legendPanel']/div/div/div[2]/div/div/div[2]/div[1]/div/div[3]/div[{i}]")
        right.click()  ## 첫번째
        #     adr = driver.find_element(By.XPATH, "featurecardPanel > div > div > div.qqvbed-bN97Pc > div.qqvbed-VTkLkc.fO2voc-jRmmHf-LJTIlf > div.fO2voc-jRmmHf-MZArnb-Q7Zjwb")
        driver.implicitly_wait(10)
        name = driver.find_element(By.XPATH, "//*[@id='featurecardPanel']/div/div/div[4]/div[1]/div/div[2]")
        #     adr = driver.find_element(By.XPATH, "//*[@id='featurecardPanel']/div/div/div[4]/div[2]/div/div[2]")
        driver.implicitly_wait(10)
        adr = driver.find_element(By.CSS_SELECTOR,
                                  "#featurecardPanel > div > div > div.qqvbed-bN97Pc > div.qqvbed-VTkLkc.fO2voc-jRmmHf-LJTIlf > div.fO2voc-jRmmHf-MZArnb-Q7Zjwb")
        names.append(name.text)
        adrs.append(adr.text)
        print(i)
        driver.implicitly_wait(10)
    except:
        print("not")



df = pd.DataFrame((zip(names, adrs)), columns=['place', 'adr'])
print(df)
df.to_excel("nokids.xlsx")

from korean_geocoding.geocoding import KoreanGeocoding as Kg
import openpyxl
import time

## NAVER API를 활용하여 주소를 위도 경도로 변환
kg = Kg()
kg.set_naver_api("hdfa8f31bk", "3uD3bopOrcTwYjeC6TnLOQxGDqIkwNPPYlhYo4JI")

## place와 주소로 이루어진 last.xlxs load
filename = "kakao_yes_adr.xlsx"
exelFile = openpyxl.load_workbook(filename)

## 주소를 위도와 경도로 변경해주는 코드
sheet = exelFile.worksheets[0]
rowCount = 1
for row in sheet.rows:
    try:
        print(row[1].value)
        g = kg.get_coordinates_by_api(row[1].value)
        lat_cell = sheet.cell(row=rowCount, column=3)
        lng_cell = sheet.cell(row=rowCount, column=4)

        lat_cell.value = g[0]
        lng_cell.value = g[1]
        rowCount = rowCount + 1
    except:
        rowCount = rowCount + 1
        print("error")

## kakao_yes_latlng.xlsx로 저장
exelFile.save("kakao_yes_latlng.xlsx")

from korean_geocoding.geocoding import KoreanGeocoding as Kg
import openpyxl
import time

## NAVER API를 활용하여 주소를 위도 경도로 변환
kg = Kg()
kg.set_naver_api("hdfa8f31bk", "3uD3bopOrcTwYjeC6TnLOQxGDqIkwNPPYlhYo4JI")

## place와 주소로 이루어진 last.xlxs load
filename = "last.xlsx"
exelFile = openpyxl.load_workbook(filename)

## 주소를 위도와 경도로 변경해주는 코드
sheet = exelFile.worksheets[0]
rowCount = 1
for row in sheet.rows:
    try:
        print(row[1].value)
        g = kg.get_coordinates_by_api(row[1].value)
        lat_cell = sheet.cell(row=rowCount, column=3)
        lng_cell = sheet.cell(row=rowCount, column=4)

        lat_cell.value = g[0]
        lng_cell.value = g[1]
        rowCount = rowCount + 1
    except:
        rowCount = rowCount + 1
        print("error")

## nokids.xlsx로 저장
exelFile.save("nokids.xlsx")

import openpyxl
import time
import sys
import pandas as pd

## 카카오 지도 API를 활용하기 위한 딕셔너리 형식을 만드는 코드

## 엑셀파일 열기
filename = "nokids.xlsx"
exelFile = openpyxl.load_workbook(filename)

## 시트 설정
sheet = exelFile.worksheets[0]
df = pd.DataFrame()
adr = []
rowCount = 1

for row in sheet.rows:
    try:
        a = row[0].value
        b = row[2].value
        c = row[3].value
        print(row[0].value)
        print(row[1].value)
        print(row[2].value)
        k = dict()
        k['title'] = a
        k['lat'] = b
        k['lng'] = c
        adr.append(k)
    except:
        print("error")


##  식당명, X, Y 로 구성된 데이터를 웹을 구현하는데 필요한 형식인
## {'title': '식당명', 'lat': 37.5654272, 'lng': 126.9816208} 으로 변경
new_adr = [i for i in adr if i['lat'] != None]
f = open('kakao_map_input.txt', 'w')
print(new_adr, file=f)
f.close()